Khi Cách mạng tháng Tám bùng nổ, anh cả của ông là Gaston Phạm Ngọc Thuần tham gia Việt Minh ở Vĩnh Long và được cử giữ chức Phó Chủ tịch Ủy ban Hành chính Kháng chiến Nam Bộ. Khi Luật sư Phạm Văn Bạch ra miền Bắc, ông Thuần làm Chủ tịch Ủy ban Hành chính Kháng chiến Nam Bộ kiêm Chính ủy Bộ Tư lệnh Nam Bộ (trong những năm 60 làm đại sứ Việt Nam Dân chủ Cộng hòa tại Cộng hòa Dân chủ Đức). Anh trai thứ bảy Phạm Ngọc Hùng học ở Pháp, lấy vợ Pháp rồi về Việt Nam ra chiến khu chiến đấu, làm Uỷ viên Hội đồng Chính phủ cách mạng lâm thời miền Nam. Tốt nghiệp trường Kỹ sư công chánh ở Hà Nội, khi Pháp bội ước quay lại xâm chiếm Việt Nam, ông Phạm Ngọc Thảo tuyên bố huỷ bỏ quốc tịch Pháp và quyết định trở về Vĩnh Long theo anh tham gia kháng chiến, làm việc ở Văn phòng Uỷ ban kháng chiến hành chính Nam Bộ. Trên đường về, ông bị dân quân Việt Minh bắt hai lần và suýt bị xử bắn do hiểu lầm.

Năm 1946, trường Võ bị Trần Quốc Tuấn khai giảng. Ông cùng 12 chiến sĩ Nam Bộ khác được cử ra Sơn Tây học tập. Tốt nghiệp khoá I, ông được điều về Phú Yên nhận nhiệm vụ làm giao liên. Một lần, ông được giao nhiệm vụ đưa một cán bộ về Nam Bộ. Đó chính là Lê Duẩn, người có ảnh hưởng rất lớn đến hoạt động tình báo của ông sau này.

Sau khi trở về Nam Bộ, ông được giao nhiệm vụ Trưởng phòng mật vụ Ban quân sự Nam Bộ – tổ chức tình báo đầu tiên của cách mạng ở Nam Bộ, rồi được bổ nhiệm làm Tiểu đoàn trưởng Tiểu đoàn 410, Quân khu 9 (có tài liệu nói là tiểu đoàn 404 hoặc tiểu đoàn 307). Trong thời gian này ông hướng dẫn về chiến tranh du kích cho các học viên Trần Văn Đôn, Nguyễn Khánh, Lê Văn Kim... những người sau này trở thành các tướng lĩnh trong Quân lực Việt Nam Cộng hòa.

Năm 1949, Phạm Ngọc Thảo kết hôn với bà Phạm Thị Nhiệm, cũng là một trí thức tham gia kháng chiến (bà Nhiệm là em ruột giáo sư Phạm Thiều)[2]

Những năm 1952-1953, ông là sĩ quan tham mưu trong một số đơn vị chủ lực của Việt Minh tại miền Tây Nam Bộ.